داستان این قلعه باستانی و کوه خواجه مربوط به بیش از ۱۲۰۰ سال پیش است. زمانی که زرتشتیان برای انجام مناسک و مراسم خود از این مکان به عنوان آتشکده استفاده میکردند.
طی سالیان زیاد حکام و پادشاهان فراوانی بر این منطقه حکومت کردند و با ورود اشکانیان و ساسانیان آثار تاریخی گوناگونی در این منطقه خلق شده است. وجود گچبریهای زیبا و فراوان که در دل خشت و گل اجرا شده یکی از نمادهای هنر آن دوره است.
همچنین وجود تعداد زیادی از نقاشیهای دیواری که از پرتره پادشاهان، بزرگان و داستانهای مذهبی از جمله آثار مهم کشف شده در کوه خواجه سیستان است.
کوه خواجه در حدود ۳۰ کیلومتری جنوب غربی زابل در استان سیستان و بلوچستان واقع شده، این مجموعه تاریخی در سال ۱۳۴۵ با شماره ۵۴۰ در فهرست آثار ملی ایران به ثبت رسید.